Ψ-Bench: Evaluating Persona-Sensitive Influencing in Persuasive Dialogues
Ψ-Bench: 评估基于画像的个性化说服对话能力基准
🧭 个性化代理 · 说服性对话评估 ★ 深度解读
University of Illinois Urbana-Champaign
提出Ψ-Bench，通过模拟个性化客户评估LLM在说服性对话中的画像敏感影响能力
📌 工作参考价值（4 点）
- 电商客服或营销对话中可借鉴画像驱动的评估框架：用合成用户画像模拟真实客户，并用LLM裁判评估对话的个性化和说服效果，替代或补充人工评估。
- 在对话推荐或主动推送中，可部署轻量级画像分析器（如RL训练的小模型）从用户历史对话中实时推断偏好，动态调整话术，提升转化。
- 发现即使强模型在缺乏用户特定信息时说服力有限，意味着在生成式推荐或对话代理中，显式用户建模（如行为序列、长期偏好）比单纯提升生成质量更关键。
- 评估指标设计上，将“个性化响应水平”作为中间指标，与最终效果强相关（ρ=0.77），可在业务中用作可解释的离线代理指标，降低线上实验成本。